Loading...
机构名称:
¥ 1.0

训练后量化(PTQ)已成为减少视觉变压器(VIT)的存储和计算成本的承诺解决方案。最近的进步主要是对制作量化器进行制作量化,以处理以VIT为特征的特殊激活。然而,大多数现有方法未列出重量序列产生的信息损失,从而导致严重的性能恶化,尤其是在低位案例中。此外,量化VIT后施加后激活的一种常见实践是对对数转换的影响,不幸的是,这对零左右的信息值较少。这种方法引入了其他冗余,最终导致了次序量化功效。为了处理这些内容,本文为VIT量身定制的创新PTQ方法称为AIQVIT(用于VIT S的训练后的训练后Q)。首先,我们设计了一个知情的低级补偿机制,其中引入了可学习的低级权重以补偿由权重量化引起的降解。第二,我们设计了动态的聚焦量化器,以适应后敏化后激活的不平衡分布,该分散量是为了动态地介绍更高量化的最有价值的间隔。对五个视觉任务的广泛实验,包括图像分类,对象检测,实例分割,点云分类和点云部分分割,证明了AIQVIT优于最先进的PTQ方法。

arxiv:2502.04628v1 [CS.CV] 2025年2月7日

arxiv:2502.04628v1 [CS.CV] 2025年2月7日PDF文件第1页

arxiv:2502.04628v1 [CS.CV] 2025年2月7日PDF文件第2页

arxiv:2502.04628v1 [CS.CV] 2025年2月7日PDF文件第3页

arxiv:2502.04628v1 [CS.CV] 2025年2月7日PDF文件第4页

arxiv:2502.04628v1 [CS.CV] 2025年2月7日PDF文件第5页

相关文件推荐